Theo binh chế nhà Chu, quân đội được chia làm ngũ (5 lính), lượng (5 ngũ), tốt (4 lượng), lữ (5 tốt), sư (5 lữ), quân (5 sư). Về lý thuyết, mỗi quân có 12.500 người[3]. Theo nguyên tắc, thiên tử có sáu quân, vạn cỗ chiến xa; các chư hầu có ba hoặc hai, một quân và có ngàn cỗ, trăm cỗ chiến xa hay vài chục cỗ chiến xa tùy theo lớn nhỏ.

Tuy nhiên, vào thời Đông Chu, thế lực của Thiên tử nhà Chu đã suy yếu. Với sự sút giảm lớn về đất đai, chỉ còn giới hạn ở Lạc Dương và các vùng xung quanh, triều đình Chu không còn có thể duy trì sáu quân thường trực (lục quân), nên phải cần sự trợ giúp của các chư hầu hùng mạnh xung quanh để bảo vệ họ khỏi các cuộc cướp bóc và để giải quyết các cuộc tranh giành quyền lực bên trong.

Nước Tấn để giữ được ngôi vị bá chủ luôn phải duy trì một đội quân hùng mạnh để can thiệp vào các nước chư hầu khác khi cần và nhất là ngăn ngừa sự tranh chấp ngôi bá chủ của nước Sở, nước Tề. Thời Tấn Vũ công đã tổ chức đạo quân, đến thời Tấn Hiến công mở rộng thành 2 đạo để phục vụ việc xâm chiếm mở rộng lãnh thổ. Năm 633 TCN, Tấn Văn công mới tổ chức thành 3 đạo quân thường trực, phân thành Thượng - Trung - Hạ. Mỗi đạo do một Tướng quân chỉ huy và một Tá quân làm phụ tá. Với đội quân thường trực này, nước Tấn có một binh lực chính quy hùng hậu, tạo sức mạnh để tranh bá chư hầu.

Khác với các chư hầu khác bấy giờ, việc chỉ huy các đạo quân ở nước Tấn không giao cho công thất để tránh nội loạn mà giao cho các tư gia, các chỉ huy được lựa chọn theo khả năng, có thực quyền chủ động trên chiến trường, đồng thời cũng tham gia chấp chính trong triều. Trong các đạo quân thì đạo Trung quân quan trọng nhất, vì vậy chỉ huy đạo quân này được xếp vào bậc Khanh. Trung quân tướng trong triều đứng ở bậc Chính khanh, nắm quân sự gọi là Nguyên soái, nắm quyền cao nhất về chính trị quân sự chỉ sau quân chủ. Trung quân tá cũng xếp vào bậc Khanh, gọi là Thứ khanh. Chỉ huy các đạo quân còn lại cũng được xếp vào bậc Đại phu. Cách tổ chức này bộ máy chính trị quân sự hợp nhất này được gọi là Nhị khanh Tứ đại phu.

Chính khanh Nguyên soái đầu tiên của nước Tấn là Khích Hộc (郤縠, còn đọc là Khước Cốc)[4]. Các chỉ huy còn lại được xếp theo thứ bậc gồm Khích Trăn (郤溱, còn đọc là Khước Trăn) là Thứ khanh Trung quân tá, Hồ Mao làm Thượng quân tướng, Hồ Yển Thượng quân tá, Loan Chi Hạ quân tướng và Tiên Chẩn Hạ quân tá.[5] Ngoài ra, Tấn Văn công còn tôn Triệu Thôi lên bậc Khanh, làm cố vấn, Tuân Lâm Phụ, Ngụy Thối (魏焠, còn đọc là Ngụy Thù) làm hộ vệ.[6] Tuy nhiên, trước khi quân Tấn giao chiến với quân Sở tại trận Thành Bộc thì Khích Hộc ốm chết. Tiên Chẩn do có công lấy thành Ngũ Lộc của nước Vệ, được Tấn Văn công thăng làm Chính khanh Nguyên soái, Tư Thần thay làm Hạ quân tá.[7]

Sau trận Thành Bộc, uy thế nước Tấn lên cao, bắt đầu lấn át nhà Chu. Do khi phát động chiến tranh, hầu như toàn bộ quân đội nước Tấn đều đi viễn chinh, trong nước bỏ trống. Do vậy, trước chiến dịch công hãm nước Trịnh, Tấn Văn công cho lập thêm 3 đạo quân nữa để chuyên việc viễn chinh, nhưng để tránh tiếng có 6 quân ngang với thiên tử nhà Chu, nên gọi là Tam hành, cho Tuân Lâm Phụ làm Trung hành tướng. Vì vậy, về sau gia tộc của Tuân Lâm Phụ phát triển thành Trung Hành (中行) thị. Hai đạo còn lại do Đồ Kích làm Hữu hành tướng và Tiên Miệt làm Tả hành tướng.[7] Sau chiến dịch công hãm nước Trịnh, năm 629 TCN, Tấn Văn công bãi bỏ Tam hành, tổ chức thành 2 đạo quân mới là Tân thượng quân và Tân hạ quân, giao cho Triệu Thôi làm Tân thượng quân tướng, Cơ Trịnh Phủ làm Tân thượng quân tá, Tư Anh (con Tư Thần) làm Tân hạ quân tướng, Tiên Đô làm Tân hạ quân tá. Ngoài ra, thăng Tư Thần làm Hạ quân tướng, phong Khích Khuyết làm Hạ quân tá.

Việc Tấn Văn công tổ chức 5 đạo quân, trên thực tế đã phá vỡ quy định kềm chế binh lực chư hầu của nhà Chu. Bên cạnh đó, việc triệu vua Chu đến hội chư hầu, đặt vua Chu chỉ còn hình thức, trên thực tế quân chủ nước Tấn mới là Bá chủ. Mặc dù vậy, trên danh nghĩa vua Chu vẫn là Thiên tử, vì vậy, ngay sau khi kế vị, đã cho thu gọn 5 đạo quân lại thành 3 đạo để tránh tiếng chư hầu lấn át Thiên tử. Sau khi Tiên Chẩn tử trận, Tương công cho Tiên Thả Cư kế chức cha là Trung quân Nguyên soái, Triệu Thôi đổi sang làm Trung quân tá. Sau khi Triệu Thôi, Loan Chi, Tiên Thả Cư và Tư Thần chết, Tương công tổ chức lại quân đội, cho Hồ Xạ Cô (còn gọi là Giả Quý) làm Trung quân Nguyên soái, Triệu Thuẫn làm Trung quân tá, Cơ Trịnh Phủ làm Thượng quân tướng, Tuân Lâm Phụ làm Thượng quân tá, Tiên Miệt làm Hạ quân tướng, Tiên Đô làm Hạ quân tá. Sau Tương công cho đổi Triệu Thuẫn lên làm Trung quân Nguyên soái, Hồ Xạ Cô xuống làm Trung quân tá.